联合学习（FL）提供了一个有效的范式，可以通过隐私保护训练机器学习模型。但是，最近的研究表明，由于可能是恶意和异质的当地代理商，FL受到各种安全，隐私和公平威胁的约束。例如，它容易受到仅贡献低质量数据的本地对抗药物的攻击，目的是损害具有高质量数据的人的性能。因此，这种攻击破坏了FL中公平性的现有定义，主要集中于某种绩效奇偶校验的概念。在这项工作中，我们旨在解决此限制，并通过对FL（FAA）的代理意识（FAA）提出正式的公平定义，该定义将当地代理的异质数据贡献考虑在内。此外，我们提出了基于代理聚类（焦点）的公平FL培训算法以实现FAA。从理论上讲，我们证明了线性模型的温和条件下的聚焦和最优性，并且具有有界平滑度的一般凸丢失函数。我们还证明，在线性模型和一般凸损耗函数下，与标准的FedAvg协议相比，FAA始终达到FAA衡量的更高公平性。从经验上讲，我们评估对四个数据集的重点，包括不同设置下的合成数据，图像和文本，并且我们表明，与FedAvg相比，基于FAA的焦点基于FAA的公平性显着更高，同时保持相似甚至更高的预测准确性。
translated by 谷歌翻译
在有限的数据分布漂移下证明模型性能的鲁棒性最近引起了分布鲁棒性的保护。但是，现有技术要么对可以认证的模型类别和损失功能做出了强有力的假设，例如通过Lipschitz的梯度连续性表达的平滑度，要么需要解决复杂的优化问题。结果，这些技术的更广泛应用当前受其可伸缩性和灵活性的限制 - 这些技术通常不会扩展到具有现代深神经网络的大规模数据集，或者无法处理可能不太平滑的损失功能，例如0-1损失。在本文中，我们着重于证明黑框模型和有限损失功能的分配鲁棒性的问题，并根据Hellinger距离提出了一个新颖的认证框架。我们的认证技术缩放到Imagenet规模的数据集，复杂的模型以及各种损失功能。然后，我们专注于通过这种可伸缩性和灵活性启用的一个特定应用程序，即，对大型神经网络和损失功能（例如准确性和AUC）的跨域概括进行认证。我们在许多数据集上实验验证了我们的认证方法，从Imagenet（从Imagenet）提供了第一个非易变认证的偏置概括到较小的分类任务，我们能够与最先进的任务进行比较艺术并表明我们的方法的性能要好得多。
translated by 谷歌翻译
在联合学习（FL）问题中，客户采样在训练算法的收敛速度中起着关键作用。然而，虽然是FL中的一个重要问题，但客户采样缺乏研究。在本文中，我们提出了在线学习，使用强盗反馈框架来了解FL中的客户采样问题。通过调整在线随机镜血清序列算法，以最小化梯度估计的方差，我们提出了一种新的自适应客户端采样算法。此外，我们使用在线集合方法和加倍技巧来自动选择算法中的调整参数。从理论上讲，我们将动态遗憾与比较器相结合，作为理论上最佳采样序列;我们还包括在我们的上限中的该序列的总变化，这是对问题的内在难度的自然度量。据我们所知，这些理论贡献对现有文献进行了新颖。此外，通过实施合成和真实数据实验，我们展示了我们所提出的算法在广泛使用的统一采样中的优势以及以前研究的其他在线学习的采样策略的实证证据。我们还检查其对调谐参数的选择的鲁棒性。最后，我们讨论其可能的延伸，而无需更换和个性化的流动。虽然原始目标是解决客户的采样问题，但这项工作在随机梯度下降和随机坐标序列方法上具有更大的应用。
translated by 谷歌翻译
作为具有高时间分辨率的生物启发传感器，尖峰摄像机在真实应用中具有巨大的潜力，特别是在高速场景中的运动估计。然而，由于数据模式不同，基于帧的基于事件的方法并不适合从尖峰相机的尖峰流。为此，我们展示，Scflow，一种量身定制的深度学习管道，以估计来自尖峰流的高速场景中的光学流量。重要的是，引入了一种新的输入表示，其可以根据先前运动自适应地从尖峰流中自适应地移除运动模糊。此外，对于训练Scflow，我们为Spiking Camera的两组光学流量数据合成了两组光学流量数据，尖锐的东西和光处理的高速运动，分别表示为乘坐和PHM，对应于随机的高速和精心设计的场景。实验结果表明，SC流程可以预测不同高速场景中的尖峰流的光流。此外，Scflow显示了\真正的尖峰流的有希望的泛化。发布后，所有代码和构造数据集将发布。
translated by 谷歌翻译
我们考虑使用共享结构估算两个功能无向图形模型之间的差异的问题。在许多应用中，数据自然被认为是随机函数的向量而不是标量的矢量。例如，脑电图（EEG）数据更适当地被视为时间函数。在这样的问题中，不仅可以每个样本测量的函数数量大，而且每个功能都是自身是无限尺寸对象，使估计模型参数具有挑战性。这进一步复杂于曲线通常仅在离散时间点观察到。我们首先定义一个功能差异图，捕获两个功能图形模型之间的差异，并在功能性差分图定义良好时正式表征。然后，我们提出了一种方法，软件，直接估计功能差异图，而不首先估计每个图形。这在各个图形是密集的情况下，这是特别有益的，但差分图是稀疏的。我们表明，融合始终估计功能差图，即使在全面观察和离散的功能路径的高维设置中也是如此。我们通过仿真研究说明了我们方法的有限样本性质。我们还提出了一种竞争方法，该方法是关节功能图形套索，它概括了关节图形套索到功能设置。最后，我们将我们的方法应用于EEG数据，以揭示一群含有酒精使用障碍和对照组的个体之间的功能性脑连接的差异。
translated by 谷歌翻译
最近已经采取了密集的算法努力来实现复杂ML模型的认证鲁棒性快速改善。但是，当前的鲁棒性认证方法只能在有限的扰动半径下进行认证。鉴于现有的纯数据驱动的统计方法已经达到了瓶颈，因此我们建议将统计ML模型与知识（以逻辑规则表示为逻辑规则）作为使用Markov Logic Networks（MLN（MLN）（以进一步提高）的推理组件，以进一步改善总体认证的鲁棒性。这为证明这种范式的鲁棒性，尤其是推理组成部分（例如MLN）开辟了新的研究问题。作为理解这些问题的第一步，我们首先证明了证明MLN鲁棒性的计算复杂性是＃p-hard。在这种硬度结果的指导下，我们通过仔细分析不同的模型制度来得出第一个用于MLN的认证鲁棒性。最后，我们对五个数据集进行了广泛的实验，包括高维图像和自然语言文本，以及自然语言文本，以及我们表明，具有基于知识的逻辑推理的经认证的鲁棒性确实胜过了T。心。
translated by 谷歌翻译
Photometric stereo recovers the surface normals of an object from multiple images with varying shading cues, i.e., modeling the relationship between surface orientation and intensity at each pixel. Photometric stereo prevails in superior per-pixel resolution and fine reconstruction details. However, it is a complicated problem because of the non-linear relationship caused by non-Lambertian surface reflectance. Recently, various deep learning methods have shown a powerful ability in the context of photometric stereo against non-Lambertian surfaces. This paper provides a comprehensive review of existing deep learning-based calibrated photometric stereo methods. We first analyze these methods from different perspectives, including input processing, supervision, and network architecture. We summarize the performance of deep learning photometric stereo models on the most widely-used benchmark data set. This demonstrates the advanced performance of deep learning-based photometric stereo methods. Finally, we give suggestions and propose future research trends based on the limitations of existing models.
translated by 谷歌翻译
Multispectral photometric stereo(MPS) aims at recovering the surface normal of a scene from a single-shot multispectral image captured under multispectral illuminations. Existing MPS methods adopt the Lambertian reflectance model to make the problem tractable, but it greatly limits their application to real-world surfaces. In this paper, we propose a deep neural network named NeuralMPS to solve the MPS problem under general non-Lambertian spectral reflectances. Specifically, we present a spectral reflectance decomposition(SRD) model to disentangle the spectral reflectance into geometric components and spectral components. With this decomposition, we show that the MPS problem for surfaces with a uniform material is equivalent to the conventional photometric stereo(CPS) with unknown light intensities. In this way, NeuralMPS reduces the difficulty of the non-Lambertian MPS problem by leveraging the well-studied non-Lambertian CPS methods. Experiments on both synthetic and real-world scenes demonstrate the effectiveness of our method.
translated by 谷歌翻译
数据驱动的预测方法可以有效，准确地将蛋白质序列转化为生物活性结构，对于科学研究和治疗发展非常有价值。使用共同进化信息确定准确的折叠格局是现代蛋白质结构预测方法的成功基础。作为最新的状态，AlphaFold2显着提高了准确性，而无需进行明确的共同进化分析。然而，其性能仍然显示出对可用序列同源物的强烈依赖。我们研究了这种依赖性的原因，并提出了一种元生成模型Evogen，以弥补较差的MSA靶标的Alphafold2的表现不佳。 Evogen使我们能够通过降低搜索的MSA或生成虚拟MSA来操纵折叠景观，并帮助Alphafold2在低数据表方面准确地折叠，甚至通过单序预测来实现令人鼓舞的性能。能够用很少的MSA做出准确的预测，不仅可以更好地概括为孤儿序列的Alphafold2，而且使其在高通量应用程序中的使用民主化。此外，Evogen与AlphaFold2结合产生了一种概率结构生成方法，该方法可以探索蛋白质序列的替代构象，并且序列生成的任务意识可区分算法将使包括蛋白质设计在内的其他相关任务受益。
translated by 谷歌翻译
未校准的光度立体声（UPS）由于未知光带来的固有歧义而具有挑战性。现有的解决方案通过将反射率明确关联到光条件或以监督方式解决光条件来减轻歧义。本文建立了光线线索和光估计之间的隐含关系，并以无监督的方式解决了UPS。关键思想是将反射率表示为四个神经内在字段，即\ ie，位置，光，镜头和阴影，基于神经光场与镜面反射和铸造阴影的光线线索隐含相关联。神经内在字段的无监督，关节优化可以不受训练数据偏差和累积误差，并完全利用所有观察到的像素值的UPS值。我们的方法在常规和具有挑战性的设置下，在公共和自我收集的数据集上获得了优于最先进的UPS方法的优势。该代码将很快发布。
translated by 谷歌翻译